Adsit sinh ra ở Northbrook, Illinois ngày 26 tháng 11 năm 1965, con trai của Genevieve "Genny" (née Butz) và Andrew Scott Adsit, một luật sư về bất động sản.[1][2] Anh theo học tại trường trung học Glenbrook North, nơi anh nhớ lại mình là "một chú hề lớp", và theo học tại Đại học DePauw của Indiana trong một học kỳ. Sau đó ông theo học tại trường đại học Columbia ở Chicago, nơi mà thầy dạy diễn xuất Sheldon Patinkin khuyến khích ông tham gia đoàn biểu diễn nổi tiếng của thành phố là Thành phố thứ hai.